Năm 1965, ông nhập ngũ vào miền Nam chiến đấu từ năm 1965-1975, lần lượt trải qua các chức vụ tiểu đội trưởng đến Trung đoàn phó, Trung đoàn trưởng thuộc các đơn vị trung đoàn 812 và trung đoàn 27 (trung đoàn Triệu Hải), Năm 1973, khi đang là Thiếu tá, Trung đoàn phó, ông được phong tặng danh hiệu Anh hùng Lực lượng vũ trang nhân dân

Năm 1976, ông tiếp tục theo học hết hoàn thiện chương trình cấp ba ở Lạng Sơn, học tiếng Nga để chuẩn bị đi Liên Xô (cũ) nghiên cứu. Năm 1978, ông về Hà Nội học Học viện cao cấp khóa đầu tiên (nay gọi là Học viện Quốc phòng), khi tốt nghiệp được phong hàm Thượng tá

Năm 1980, bổ nhiệm giữ chức vụ Sư đoàn trưởng Sư đoàn 390 (nguyên là Sư đoàn 320B cũ)

Năm 1987, bổ nhiệm giữ chức Phó Tư lệnh thứ nhất Quân đoàn 1

Năm 1988, bổ nhiệm giữ chức Tư lệnh Quân đoàn 1

Năm 1995, bổ nhiệm giữ chức Phó Tổng Tham mưu trưởng.

Tháng 11-1999, bổ nhiệm giữ chức Thứ trưởng Bộ Quốc phòng.

Năm 2011, ông nghỉ hưu.

Năm 2011 ông Nguyễn Huy Hiệu xuất bản cuốn sách "Một thời Quảng Trị” gây nhiều tranh cãi, có nhiều ý kiến của cựu chiến binh trung đoàn 27 tố cáo người viết đã ghi nhầm nhiều sự kiện, gán công cho ông Nguyễn Huy Hiệu trong thành tích của trung đoàn 27

Năm 2016, ông có liên quan tới quảng bá và tham dự các sản phẩm đa cấp của công ty Liên kết Việt lừa đảo người tiêu dùng.